Suchergebnisse

International large-scale assessments (LSAs), such as the Programme for International Student Assessment (PISA), provide essential information about the distribution of student proficiencies across a wide range of countries. The repeated assessments of the distributions of these cognitive domains offer policymakers important information for evaluating educational reforms and received considerable attention from the media. Furthermore, the analytical strategies employed in LSAs often define methodological standards for applied researchers in the field. Hence, it is vital to critically reflect on the conceptual foundations of analytical choices in LSA studies. This article discusses the methodological challenges in selecting and specifying the scaling model used to obtain proficiency estimates from the individual student responses in LSA studies. We distinguish design-based inference from model-based inference. It is argued that for the official reporting of LSA results, design-based inference should be preferred because it allows for a clear definition of the target of inference (e.g., country mean achievement) and is less sensitive to specific modeling assumptions. More specifically, we discuss five analytical choices in the specification of the scaling model: (1) specification of the functional form of item response functions, (2) the treatment of local dependencies and multidimensionality, (3) the consideration of test-taking behavior for estimating student ability, and the role of country differential items functioning (DIF) for (4) cross-country comparisons and (5) trend estimation. This article's primary goal is to stimulate discussion about recently implemented changes and suggested refinements of the scaling models in LSA studies.

Weil die Ergebnisrückmeldungen für das System und an Lehrer/innen über ihre Unterrichtsgruppen unterschiedliche Ziele verfolgen, unterscheiden sich auch die Anforderungen an die Rückmeldungen auf diesen beiden Ebenen. Basierend auf dieser Annahme werden im vorliegenden Kapitel Entwicklungsdesiderate in der Rückmeldung von Mathematikkompetenzen auf Unterrichtsgruppenebene herausgestellt und ein Vorschlag für eine Weiterentwicklung der Rückmeldungen eingebracht. Das Kapitel schließt mit einer Diskussion der Vor- und Nachteile der aktuellen Rückmeldeform im Vergleich zu der neu vorgeschlagenen. (DIPF/Orig.)

Seit einiger Zeit werden auch in Österreich standardbasierte Schulleistungstests durchgeführt. Die Autoren berichten in ihrem Beitrag von der Ergebnisdarstellung in Berichten und Rückmeldungen und der Konstruktion des fairen Vergleichs sowie einem davon zu unterscheidenden Index der sozialen Benachteiligung in Österreich. (DIPF/Orig.).